我们提出ACPROP(异步 - 居中 - PROP),一个适应优化器,它结合了第二次动量和异步更新的居中(例如,用于$ T $ -Th更新,分母使用信息最多为步骤$ T-1 $,而Dumerator使用梯度$ t-the step)。 ACPROP具有强大的理论特性和经验性能。用reddi等人的例子。 (2018),我们表明异步优化器(例如Adashift,ACProp)的收敛条件较弱,而不是同步优化器(例如ADAM,RMSPROP,Adabelief);在异步优化器中,我们表明,第二次势头的中心进一步削弱了收敛条件。我们展示了随机非凸面的$ O(\ FRAC {1} {\ SQRT {})$的收敛速度,它与ORACLE率和优于$ O(\ FRAC {logt}相匹配{\ sqrt {t}})$ rmsprop和adam的$率。我们在广泛的实证研究中验证了ACPROP:ACPRAC在使用CNN的图像分类中表现出SGD和其他自适应优化器,并且在各种GAN模型,加固学习和变压器的培训中优于良好调整的自适应优化器。总而言之,ACPROP具有良好的理论特性,包括弱收敛条件和最佳收敛速度,以及强的经验性能,包括SGD等良好普遍性,如亚当等训练稳定性。我们在https://github.com/juntang-zhuang/acprop-optimizer提供实现。
translated by 谷歌翻译
Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations, and either heuristically upweighting or upsampling those samples; we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms the SoTA solutions on multiple popular benchmarks by a large margin, an average 5.5% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.
translated by 谷歌翻译
多任务学习经常用于对一组相同功能集的一组相关响应变量进行建模,从而相对于分别处理每个响应变量的方法提高了预测性能和建模精度。尽管多任务学习的潜力比单任务替代方案具有更强大的推理,但该领域的先前工作在很大程度上忽略了不确定性量化。我们在本文中的重点是神经影像学中常见的多任务问题,其目标是了解多个认知任务分数(或其他主题级评估)与从成像收集的脑连接数据之间的关系。我们提出了一个选择性推断以解决此问题的框架,并具有以下灵活性:(i)通过稀疏性惩罚共同确定每个任务的相关协变量,(ii)基于估计的稀疏性在模型中进行有效推理结构体。我们的框架为推理提供了新的有条件过程,基于选择事件的改进,该事件产生了可拖延的选择调整后的可能性。这给出了最大似然推理的估计方程式的近似系统,可通过单个凸优化问题解决,并使我们能够在大约正确的覆盖范围内有效地形成置信区间。我们的选择性推理方法应用于青少年认知大脑发展(ABCD)研究的模拟数据和数据,比常用的替代方案(例如数据拆分)产生了更紧密的置信区间。我们还通过模拟证明,与单任务方法相比,具有选择性推理的多任务学习可以更准确地恢复真实信号。
translated by 谷歌翻译
The stochastic block model (SBM) is a fundamental model for studying graph clustering or community detection in networks. It has received great attention in the last decade and the balanced case, i.e., assuming all clusters have large size, has been well studied. However, our understanding of SBM with unbalanced communities (arguably, more relevant in practice) is still very limited. In this paper, we provide a simple SVD-based algorithm for recovering the communities in the SBM with communities of varying sizes. We improve upon a result of Ailon, Chen and Xu [ICML 2013] by removing the assumption that there is a large interval such that the sizes of clusters do not fall in. Under the planted clique conjecture, the size of the clusters that can be recovered by our algorithm is nearly optimal (up to polylogarithmic factors) when the probability parameters are constant. As a byproduct, we obtain a polynomial-time algorithm with sublinear query complexity for a clustering problem with a faulty oracle, which finds all clusters of size larger than $\tilde{\Omega}({\sqrt{n}})$ even if $\Omega(n)$ small clusters co-exist in the graph. In contrast, all the previous efficient algorithms that makes sublinear number of queries cannot recover any large cluster, if there are more than $\tilde{\Omega}(n^{2/5})$ small clusters.
translated by 谷歌翻译
由于交通环境的复杂性和波动性,自主驾驶中的决策是一个显着难的问题。在这个项目中,我们使用深度Q-network,以及基于规则的限制来使车道变化的决定。可以通过将高级横向决策与基于低级规则的轨迹监视相结合来获得安全高效的车道改变行为。预计该代理商在培训中,在实际的UDAcity模拟器中进行了适当的车道更换操作,总共100次发作。结果表明,基于规则的DQN比DQN方法更好地执行。基于规则的DQN达到0.8的安全速率和47英里/小时的平均速度
translated by 谷歌翻译
使用模块化和可重新配置性方面的操纵器配置的自定义是受到大量关注的。到目前为止展示了常规和标准配置的模块。本文介绍了3D可打印,轻量级和非传统模块:Moirs'Mark-2,即使具有非平行和非垂直的连接配置,也可以开发任何自定义`的自由度(DOF)串行机械手。模块化配置的这些非常规设计为模块化组件和软件界面寻求易于适应的解决方案,用于自动建模和控制。使用所提出的4个模块单元,在本文中提出了组装模块,模块化和可重新配置机械手的模块和可重新配置机械手的模块,自动和统一建模。提供可重新配置的软件架构,用于自动生成运动和动态模型和配置文件,通过该设计文件,设计器可以根据需要设计,使用可视化,计划和执行开发配置的运动。开发的框架基于一个称为机器人操作系统(ROS)的开源平台,其充当模块化配置的数字双胞胎。对于实验演示,开发了一个3D印刷模块化库,并使用所提出的模块随后进行了非传统配置,用于自动建模和控制,用于垂直农场设置的单个单元格。
translated by 谷歌翻译
模块化和可重新配置的机器人系统旨在为在受限环境中执行的非重复任务提供定制解决方案。定制解决方案通常从可能的机械手配置的基于任务的优化提取,但不整合解决方案,用于直接提供模块化组成。在这项工作中,在第一阶段,基于规定的工作位置和杂乱的环境,讨论了以最小程度的自由度找到非常规优化配置的策略。然后,在第二阶段,介绍了模块化和可重新配置架构的设计,其可以适应这些非传统的机器人参数。而不是产生和发展模块化组合物,呈现了一种策略,通过该策略通过该策略通过该策略可以直接映射到模块化组合物。使用机器人操作系统验证产生的模块化组合物,用于在给定的杂乱环境中规定的工作位置之间的运动规划。
translated by 谷歌翻译